Detection and segmentation of moving objects in complex scenes

Detecting and segmenting moving objects in dynamic scenes is a hard but essential task in a large number of applications such as surveillance. Most existing methods only give good results in the case of persistent or slowly changing background, or if both the objects and the background can be characterized by simple parametric motions. This paper aims at detecting and segmenting foreground moving objects in the absence of such constraints. The sequences we consider have highly dynamic backgrounds, illumination changes and low contrasts, and can have been shot by a moving camera. Three main steps compose the proposed method. First, moving points are selected within a sub-grid of image pixels. A descriptor is associated to each of these points. Clusters of points are then formed using a variable bandwidth mean shift with automatic bandwidth selection. Finally, segmentation of the object associated to a given cluster is performed using Graph cuts. Experiments and comparison to other motion detection methods on challenging sequences show the performance of the proposed method and its utility for video analysis in complex scenes. Key-words: motion detection, segmentation, mean shift clustering, graph cuts Détection et segmentation d’objets en mouvement dans des scènes complexes Résumé : De nombreuses applications en vision par ordinateur et en surveillance nécessitent la détection et la segmentation des objets en mouvement. La plupart des méthodes existantes ne donnent de bons résultats que pour des fonds statiques ou peu changeants, ou si le fond et les objets sont rigides et ont un mouvement affine 2D. Le but de ce papier est de directement détecter les objets en mouvement dans des séquences complexes n’ayant pas ces caractéristiques. Les vidéos considérées ici ont un fond dynamique, avec de forts changements d’illumination et de faibles contrastes, et peuvent avoir été prises par une caméra en mouvement. La méthode proposée se divise en trois étapes principales. Tout d’abord un ensemble de points en mouvement est sélectionné parmi une grille de pixels uniformément répartis sur toute l’image. Tous ces points sont associés à un descripteur. La deuxième étape consiste à former des groupes de ces points représentant chacun un objet en mouvement. Ces partitions sont obtenues par un algorithme mean shift à noyau variable avec une sélection automatique de la taille du noyau. Enfin, à partir de ces groupes de points, la segmentation des objets est donnée en minimisant une énergie par coupure de graphe. Des résultats et comparaisons avec d’autres méthodes de segmentation de mouvement montrent l’efficacité de la méthode proposée. Mots-clés : détection de mouvement, segmentation, partitionnement mean shift, coupure de graphe Detection and segmentation of moving objects in complex scenes 3